#Parameter Efficiency

3 篇

Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

Meta Expert：跨层专家共享的存储与检索高效 MoE

🧭 MoE 架构优化 · 跨层参数共享 ★ 深度解读

Tsinghua University · Shanghai AI Laboratory

用跨层共享的 Meta Expert 替代层私有专家，在 Iso-FLOPs 下仅需 70-80% 专家数即可匹配 Vanilla MoE

📌 工作参考价值（4 点）

推荐/广告大模型 MoE 层可直接复用：如果业务中训练 MoE 结构的 LLM（如生成式推荐、用户行为序列建模），可将中间的若干层专家改为跨层共享的 Meta Expert 池，保持每层激活专家数不变，FLOPs 不变，但能节省 20-30% 专家存储参数，降低显存占用和加载成本。
多场景/多域专家共享借鉴拓扑设计：论文发现“前两层 + 最后两层保持 Local Expert，中间层共享 Meta Expert”以及“Meta 池分成 2 个 interleaved 子池”效果最好。这可以迁移到多域推荐模型：边界层保留场景特有专家，中间层共享通用专家池，既保留差异化又减少冗余。
专家冗余度量可用于模型诊断：用线性 CKA 的 Gini 系数衡量专家功能重叠，可以搬到推荐模型的分析中，识别哪些塔/专家在做重复工作，指导剪枝或共享决策。
双向 residual pathway 视角启发架构设计：共享参数层相当于在单次前向中让浅层和深层相互读取同一存储，等价于增加隐式跨层连接。在用户表征学习或序列建模中，可以考虑类似的“共享模块”让不同深度互相访问，而不必显式增加跳跃连接。

LLM | 2026-10-19 | HF Daily | score 8/10

锥形语言模型：深度感知的 MLP 宽度分配

🧭 语言模型架构优化 · 深度感知容量分配

Mila · Cornell University · Université de Montréal · CIFAR AI Chair

在总参数固定下，让 MLP 宽度随层深递减（余弦锥形）可免费提升 Transformer 等模型的困惑度与下游性能

📌 工作参考价值（4 点）

免费性能提升：在训练推荐领域的 Transformer 模型（如 CTR 预估、行为序列建模）时，可将 MLP 中间宽度按余弦锥形从底层向顶层递减，在零额外参数和计算下获得困惑度或下游指标提升。
超参搜索技巧：锥形范围（起始宽度倍数->结束宽度倍数）和衰减形式（余弦 vs 线性）可视为新的架构超参，直接用固定总预算的缩放实验快速寻优，无需改动训练流程。
与现有架构解耦：方法不依赖特定注意力机制，可直接叠加到 Gated Attention、Hope-attention、Titans 等变体上，方便复用到自研或改进的推荐模型。
强化学习 Agent 内部模型：若 Agent 内部使用 Transformer 作为策略或值函数网络，锥形 MLP 同样可作为低成本的结构性改进，在不增加推理成本的前提下提升模型容量利用效率。

LLM | 2026-06-21 | HF Daily | score 7/10

循环世界模型：迭代隐状态实现百倍参数效率

🧭 世界模型 · 循环架构 · 参数效率

FaceMind Research Asia

通过参数共享的 Transformer 块迭代优化隐状态，世界模型获得高达 100 倍参数效率并自适应深度

📌 工作参考价值（4 点）

Other | 2026-06-15 | HF Daily | score 7/10